Некоммерческий консорциум Linux Foundation обнародовал годовой отчёт о развитии экосистемы open source. Говорится, что в 2023-м в состав организации вошли приблизительно 270 новых участников, а общее количество курируемых проектов достигло 1133.

В течение 2023 года выручка Linux Foundation составила примерно $262,6 млн, а расходы — $269,0 млн. Общая доля затрат, связанных с разработкой ядра Linux, составила всего 2,9 %, или около $7,8 млн. Это почти на $400 тыс. меньше по сравнению с 2022-м, когда доля расходов на ядро равнялась 3,2 %. В 2021-м это значение оценивалось в 3,4 %.

На различные проекты пришлось в общей сложности 64 % всех расходов Linux Foundation — около $171,8 млн. Наибольший вклад в эту сумм внесли инициативы, связанные с облачными технологиями, контейнерами и виртуализацией (25 %), а также сетевыми технологиями (13 %).

Источник изображений: Linux Foundation

Доля затрат Linux Foundation в сфере ИИ, машинного обучения и аналитики данных в 2023 году составила примерно 12 %. На средства обеспечения безопасности и конфиденциальности потрачено 4 % от общей суммы, приблизительно столько же ушло на Интернет вещей (IoT) и встраиваемые решения. На технологии блокчейна также направлено 4 % затрат.

На поддержание инфраструктуры в 2023-м потрачено $22,58 млн (9 %), на программы обучения и сертификации — $18,57 млн (7 %), на корпоративную деятельность — $17,12 млн (6 %), на различные мероприятия — $14,60 млн (6 %), на поддержку сообщества — $13,53 млн (5 %), на международные операции — $2,96 млн (1 %).

Что касается денежных поступлений, то 45 % всех полученных средств (118,2 млн долларов) пришлось на пожертвования и взносы членов организации. Ещё 26 % ($67 млн) составила целевая поддержка проектов, 19 % ($49,5 млн) — поддержка мероприятий, а также регистрационные сборы на конференциях, 10 % ($27,2 млн) — оплата обучающих курсов и получение сертификатов.

Организация FinOps Foundation, входящая в некоммерческий технологический консорциум Linux Foundation, представила предварительную редакцию первой версии открытой спецификации FOCUS (FinOps Open Cost and Usage Specification) для оценки стоимости и объёма использования облачных услуг крупных провайдеров. Проект призван сделать затраты на облака более прозрачными.

Отмечается, что по мере перехода предприятий в облако становится всё труднее понять, где, как и на что конкретно расходуются средства. Различные поставщики услуг SaaS и облачные платформы используют свои собственные подходы к расчёту затрат. Кроме того, применяются разные форматы данных, что затрудняет анализ финансовых потоков.

Источник изображения: FinOps Foundation

На этом фоне сформировалось направление FinOps — дисциплина, которая сочетает принципы управления финансами с облачным проектированием и управлением, чтобы дать организациям лучшее представление о своих расходах на облако. В свою очередь, FOCUS — это основополагающий проект в области FinOps, направленный на создание открытой спецификации для представления данных о затратах на облачные ресурсы. Цель проекта заключается в том, чтобы стандартизировать терминологию и упростить анализ расходов и потребления облачных услуг.

Спецификация включает определения часто используемых терминов и показателей. Предусмотрены варианты использования для анализа скидок и ценообразования. В целом, использование стандарта обеспечивает прозрачность тарифов и возможность детальной оценки затрат. Версия FOCUS 1.0 также будет включать в себя библиотеку реальных сценариев использования.

Проект FOCUS поддерживают AWS, Microsoft, Google, Oracle Cloud, IBM, Meta✴ и VMware, крупные пользователи облачных платформ, такие как Walmart и Capital One, а также сервис-провайдеры, включая Atlassian, Twilio, Datadog и Snowflake.

Некоммерческая организация Linux Foundation объявила о намерении сформировать «Фонд высокопроизводительного программного обеспечения »(High Performance Software Foundation, HPSF). Задачами данной структуры станут создание и продвижения стека ПО для НРС-приложений.

Предполагается, что появление HPSF будет способствовать ускорению решения задач в области НРС и ИИ. Фонд намерен предоставить «нейтральное пространство» для ключевых проектов в экосистеме HPC ПО. Участники отрасли, научные организации и госструктуры смогут сообща работать над софтверным стеком.

Источник изображения: Linux Foundation

Сообщается, что в деятельности HPSF примут участие Аргоннская национальная лаборатория, Национальная лаборатория им. Лоуренса в Беркли, Ливерморская национальная лаборатория, Лос-Аламосская национальная лаборатория, Окриджская национальная лаборатория и Сандийские национальные лаборатории (все входят в состав Министерства энергетики США), а также AWS, CIQ, HPE, Intel, Kitware, NVIDIA и др.

Фонд планирует использовать инвестиции, сделанные проектом Exascale Computing Project (ECP) Министерства энергетики США, совместным предприятием EuroHPC JU и другими международными структурами. На первом этапе в программный стек HPSF войдут open source решения Spack, Kokkos, AMReX, WarpX, Trilinos, Apptainer, VTK-m, HPCToolkit, E4S и Charliecloud.

До начала следующего года HPSF планирует проводить встречи с участниками для согласования структуры и схемы управления. Ожидается, что фонд будет официально сформирован в мае 2024 года.

AMD, Arista, Broadcom, Cisco, Eviden (Atos), HPE, Intel, Meta✴ и Microsoft в рамках Linux Foundation сформировали новый консорциум Ultra Ethernet Consortium, который намерен создать на базе Ethernet новый масштабируемый и эффективный с точки зрения стоимости коммуникационный стек, ориентированный на высокопроизводительные вычисления (HPC) и ИИ. Иными словами, речь идёт о создании спецификаций интерконнекта нового поколения на базе Ethernet для современных кластеров, облаков и иных платформ.

UEC сформировал четыре рабочих группы, ответственных за физический, канальный и транспортный уровни, а также за уровень ПО. Целью же является создание современного сетевого стека, который учитывает потребности HPC- и ИИ-нагрузок, включая новые методы борьбы с заторами в сети, высокий уровень утилизации канала (в том числе 800G/1.6T), многопутевую и гарантированную доставку, сквозную телеметрию, консистентность и низкий уровень задержек, автоматизацию, безопасность и защищённость, масштабируемость, стабильность, надёжность, снижение TCO и так далее.

Источник: Ultra Ethernet Consortium

Фактически отдельные вендоры уже наделили рядом перечисленных свойств свои продукты, однако унификация и объединение усилий, как считается, должны пойти на пользу всем. Всем, кроме, по-видимому, NVIDIA, которой в списке основателей UEC нет (как и Marvell, к слову). NVIDIA после поглощения Mellanox фактически стала монополистом на рынке InfiniBand, который она активно продвигает, не забывая, впрочем, и о своём проприетарном интерконнекте NVLink, который в последней своей версии выбрался за пределы узла. Справедливости ради — про Ethernet компании тоже не забывает.

В обзоре UEC аккуратно критикуется и InfiniBand, и его адаптация в виде RoCE. Авторы указывают на правильность и успешность идеи RDMA, но жалуются на не слишком высокую практичность и удобство современных реализаций. И именно поэтому они первым делом предлагают внедрить новый транспортный протокол Ultra Ethernet Transport (UET), который и позволит реализовать интерконнект будущего, а заодно ещё раз доказать эффективность и гибкость технологии Ethernet, которой в этом году исполнилось 50 лет. Впрочем, это только один из кирпичиков UEC. Примечательно, что первые продукты на базе новых спецификаций обещали показать уже в 2024 году.

Организация Linux Foundation, некоммерческий консорциум развития Linux, сообщила о том, что к проекту облачного гипервизора Cloud Hypervisor присоединилась компания Ampere, специализирующаяся на разработке серверных Arm-процессоров. Проект Cloud Hypervisor был запущен корпорацией Intel несколько лет назад. Это безопасный гипервизор, рассчитанный на облачные нагрузки и написанный на Rust. Инициативу уже поддерживают такие компании, как Alibaba, Arm, ByteDance, Microsoft и Tencent Cloud. В конце прошлого года проект перешёл под крыло Linux Foundation.

Изображение: The Linux Foundation

Ampere поможет в дальнейшем развитии облачного гипервизора. Проект ориентирован на поддержку современных рабочих нагрузок как в облаке, так и на периферии. Ampere присоединилась к группе Cloud Hypervisor в рамках своей программы по разработке решений с открытым исходным кодом. Нужно отметить, что в ноябре 2022 года в консультативный совет Cloud Hypervisor вошла и компания AMD. Говорится, что решение AMD отражает усилия сообщества по стандартизации одного из ключевых технологических компонентов современного стека виртуализации.

В ходе саммита 2022 OCP Global Summit вице-президент OCP по исследованиям рынка и инновациям Клифф Гросснер (Cliff Grossner) сделал ряд анонсов, касающихся расширения альянса, новой программы для развивающихся рынков и усиления работ в области устойчивого развития.

В частности, Гросснер сообщил о расширении сотрудничества с фондом Linux Foundation (LF) и необходимости ускорения освоения открытых инноваций рынком. Сотрудничество позволит сторонам делиться достижениями и использовать сильные стороны каждого партнёров. В частности, решения фонда Linux Foundation будут использоваться для совместной разработки программного обеспечения с открытым исходным кодом, а OCP займётся разработкой спецификаций оборудования и расширением цепочек поставок для развивающихся рынков.

Изображения: OCP Foundation

Гросснер отметил, что к объявленному в апреле 2022 года партнёрству присоединились SAI и SONiC, а OCP и LF предприняли новые усилия, чтобы гарантировать безопасность решений. По его словам, расширение стратегии совместного проектирования аппаратного и программного обеспечения OCP будет производиться с учётом того, что промышленность нуждается в готовых к развёртыванию предварительно интегрированных программно-аппаратных комплексах.

В числе будущих направлений совместных проектов он назвал:

• Интегрированные решения с использованием серверов Open Edge, признанных OCP и LF Edge.
• Стандартизированные API для динамического обмена информацией о ЦОД и его экологическом воздействии на окружающую среду, что позволяет использовать более экологически дружественное программное обеспечение
• Поддержку стандартизированных модулей OCP, включая модуль OAM (OCP accelerator module) и модуль SCM (secure control module), в программном обеспечении LF.

Обновлённая программа OCP Experience Center включает ускорение открытых инноваций и внедрение оборудования, признанного OCP. Согласно программе, центральное место в стратегии OCP отводится расширению присутствия на развивающихся рынках. Данная программа дополняет программы Data Center Ready и Product Recognition, а также является катализатором для гиперскейлеров для внедрения инноваций на большем числе рынков.

Ускорение внедрения открытых инноваций предполагает разработку концепций, повышение уровня информированности и снижение рисков. Для этого специалисты занимаются созданием новых концептов, их тестированием и валидацией, разработкой и тестированием ПО, а также проблемами их совместимости.

Также уделяется внимание адаптации продуктов OCP. Занимающиеся этим компании и специалисты определяют возможности их использования, положительные стороны, а также коммерческий потенциал. В свою очередь, торговые партнёры определяют рынки реализации и налаживают на них связи с клиентами.

Что касается вопросов охраны окружающей среды, то OCP планирует уменьшить воздействие роста отрасли на окружающую среду, добиться эффективного контроля цепочки поставок с помощью стандартизированных показателей, а также повышения прозрачности данных по всей цепочке создания стоимости. Также будет уделяться внимание вопросам построения замкнутого цикла производства, повышению информированности и уровня образованности специалистов.

Некоммерческий консорциум Linux Foundation сообщил о переводе платформы машинного обучения PyTorch, созданной Meta✴, в недавно созданное подразделение PyTorch Foundation. PyTorch является одним из ключевых и одним из самых популярных ИИ-фреймворков. С момента выхода в 2016 году более 2,4 тыс. участников и 18 тыс. организаций использовали данную платформу в академических исследованиях и производственных средах.

Linux Foundation сообщил, что будет работать с сопровождающими проект сообществом разработчиков и первоначальными членами-основателями PyTorch с целью поддержки экосистемы. Став частью Linux Foundation, платформа и её сообщество получат выгоду от программ и инфраструктуры поддержки консорциума, включая программы обучения и сертификации, исследования, локальные и глобальные мероприятия, площадки для совместной работы и поиска сотрудников и т.д.

Источник: PyTorch

«Мы благодарны команде Meta✴, где PyTorch был создан и превратился в огромную экосистему, за то, что они доверили Linux Foundation эту важную работу», — сообщил Джим Землин (Jim Zemlin), исполнительный директор Linux Foundation. В свою очередь, Марк Цукерберг (Mark Zuckerberg), основатель и гендиректор Meta✴, заявил, что будет «рад и далее развивать сообщество PyTorch и продвигать исследования в области ИИ».

Исполнительным директором PyTorch Foundation назначен Ибрагим Хаддад (Ibrahim Haddad), вице-президент по стратегическим программам Linux Foundation. PyTorch Foundation будет управляться советом, включающим представителей членов-основателей: AMD, Amazon Web Services (AWS), Google Cloud, Meta✴, Microsoft Azure и NVIDIA.

Источник: CNCF

В пресс-релизе отмечено, что такие проекты, как PyTorch, способные стать базовой платформой для критически важных технологий, выигрывают от нейтрального окружения, каким является Linux Foundation. По состоянию на август 2022 года PyTorch входил в пятёрку самых быстрорастущих open source проектов в мире наряду с ядром Linux и Kubernetes. С августа 2021 года по август 2022 года PyTorch насчитал более 65 тыс. коммитов.

На свет «умные» сетевые адаптеры появились не вчера — технология возмужала и доросла до концепции DPU, сопроцессора данных, могущего взять на себя не только обработку трафика, но и многое другое, вплоть до обслуживания гипервизора. Текущие реализации DPU базируются на проприетарных технологиях, но организация Linux Foundation хочет положить этому конец и сделать такие сопроцессоры по-настоящему популярными.

На этой неделе организация объявила о старте инициативы Open Programmable Infrastructure (OPI), целью которой является разработка открытых программных стандартов для DPU, IPU и SmartNIC. Проект уже получил поддержку от многих ведущих разработчиков аппаратного и программного обеспечения, включая NVIDIA, Intel, Marvell, F5, Keysight, Dell Tech и Red Hat. Стоит ожидать дальнейшего увеличения количества участников.

Изображение: opiproject.org

За счёт унификации и открытости OPI, считает Linux Foundation, темпы внедрения «умных» сетевых ускорителей существенно вырастут. Для гиперскейлеров и крупных облачных провайдеров проприетарное ПО обычно не проблема, но куда сложнее ситуация выглядит для менее крупных компаний.

Проект OPI положит конец ситуации, когда разработчики DPU порой не могут договориться даже о единой терминологии. На первой стадии участники проекта создадут стандартизированные определения для технологий и функций, выполняемых DPU, затем начнётся разработка универсальных API и программных архитектур и фреймворков, не зависящих от «железа» конкретного разработчика.

Такой крупный игрок на рынке DPU, как NVIDIA, приветствует инициативу, и в рамках проекта OPI уже открыла доступ к SDK DOCA разработчикам ПО и аппаратных сетевых средств. Компания и ранее обещала сделать DOCA для сетевых ускорителей тем же, чем стал стандарт CUDA для GPU, но теперь, к счастью, стандарт не будет закрытым: библиотеки и прочие средства, а также документация, уже доступны, а открытая лицензия позволит использовать наработки NVIDIA не только для ускорителей BlueField, но и для решений других производителей. Сайт проекта OPI находится здесь, также имеется репозиторий на GitHub.